Trong Thế chiến thứ 2, tiền thân của tên lửa chống tàu đã được sử dụng. Không quân Đức thời đó đã sử dụng loại bom có điều khiển Fritz-X để chống lại các tàu của Đồng minh một cách hiệu quả, đã bắn chìm hoặc làm hỏng một số tàu chiến lớn trước khi quân đồng minh đưa ra biện pháp đối phó (chủ yếu là bằng bẫy sóng vô tuyến).

Cuối thế chiến thứ hai, Nhật Bản đã sử dụng các phi công cảm tử Kamikaze (Thần Phong) có nhiệm vụ lái máy bay mang bom lao thẳng vào tàu chiến Mỹ. Đây có thể coi là một dạng tên lửa hành trình chống hạm sơ khai. So với tên lửa chống hạm thực thụ, các máy bay Kamikaze có nhiều thiếu sót (không thể bay tự động, không thể bay sát mặt biển để tránh rađa, vận tốc chỉ đạt 500 km/h, kích thước khá lớn nên dễ bị trúng đạn phòng không). Nhưng ngay cả với những thiếu sót đó, các phi cơ Thần Phong vẫn lập nên nhiều chiến tích lớn. Dù không quân Mỹ thường xuyên bay tuần tra và được hộ tống bởi các tàu khu trục có hệ thống phòng không dày đặc, đội tàu sân bay Mỹ vẫn bị thiệt hại nặng bởi Kamikaze.

Các phi cơ Thần Phong đã thành công trong việc đánh chìm 3 chiếc tàu sân bay hộ tống, đánh hỏng nặng rất nhiều tàu sân bay khác (gồm 15 lượt tàu sân bay hộ tống, 3 tàu sân bay hạng nhẹ và 21 lượt tàu sân bay cỡ lớn), đó là chưa kể hơn 30 tàu chiến các loại khác bị đánh chìm và hơn 300 tàu các loại khác bị đánh hỏng nặng bởi Thần Phong. Thành tích của các Thần Phong báo hiệu nguy cơ lớn đối với tàu chiến từ các cuộc tấn công bằng tên lửa của đối phương.